Richtiger Algorithmus – besseres Ergebnis

Immer mehr Bereiche der Medizin setzen auf Unterstützung durch künstliche Intelligenz (KI), besonders bei der Auswertung von Bilddaten, die zum Beispiel bei Mammographien oder Magnetresonanztomographien anfallen. Ob die Algorithmen, die sie dabei genutzt werden, für die jeweilige Aufgabe geeignet sind, hängt in hohem Maße davon ab, welche Messgrößen, im Fachbegriff als „Metriken“ bezeichnet, sie erfassen.

„Wir bemerken oft, dass für bestimmte Aufgaben Validierungs-Metriken genutzt werden, die aus klinischer Perspektive für die Aufgabenstellung gar nicht relevant sind“, sagt Lena Maier-Hein vom Deutschen Krebsforschungszentrum (DKFZ) und nennt ein Beispiel dafür: „Bei der Suche nach Metastasen im Gehirn ist es zunächst wichtiger, dass der Algorithmus auch kleinste Läsionen erfasst, als dass er hochpräzise die Konturen jeder einzelnen Metastase definieren kann.“

Unter der Führung des Deutschen Krebsforschungszentrums (DKFZ) und des Nationalen Centrums für Tumorerkrankungen (NCT) Heidelberg wurde nun das weltweit verfügbare Wissen über die spezifischen Stärken, Schwächen und Limitationen der verschiedenen Validierungsmetriken zusammengetragen. Dazu befragten die Datenwissenschaftler in einem mehrstufigen, strukturierten Verfahren Meinungsführer aus der Wissenschaft und Industrie aus über 70 Forschungsinstitutionen weltweit.

„Mit dieser Arbeit machen wir der Fachwelt erstmals zuverlässige und umfassende Informationen über Probleme und Fallstricke im Zusammenhang mit Validierungs-Metriken in der Bildanalyse zugänglich“, so Annika Reinke, eine der federführenden Autorinnen. Entstanden ist ein strukturiertes Informationswerk für Forscher aller Fachrichtungen, denn die Informationen lassen sich auch auf andere Gebiete der Bildauswertung übertragen.

In einer zweiten Arbeit beschreibt das Expertenkonsortium Metrics Reloaded:. Das Online-Tool kann Ärzten und Wissenschaftlern bei der problemgerechten Auswahl von Metriken helfen. „Die Anwender werden durch einen umfangreichen Fragenkatalog geführt, damit erstellen sie sozusagen einen präzisen Fingerabdruck ihres Bildanalyse-Problems. Das Tool macht außerdem auf spezifische Probleme aufmerksam, die bei bestimmten biomedizinischen Fragestellungen auftreten“, erklärt Paul Jäger, der ebenfalls federführend an der Metrics-Reloaded-Initiative beteiligt war.

Metrics Reloaded ist für alle verschiedenen Problemkategorien der Bildanalyse, unabhängig von der Bildquelle (MRT, CT, Mikroskop) und jenseits biomedizinischer Forschung geeignet, so für die Klassifizierung der Bilder, die Objektdetektion oder die Zuordnung einzelner Pixel (semantische Segmentation).

Ihre Ergebnisse veröffentlichten die Wissenschaftler in Nature Methodes.